#Long-sequence Modeling - AI Papers Daily

LazFormer: Scaling Transformers for Industrial Recommendation via Transferable Generative Pre-training

LazFormer：面向工业推荐的可迁移生成式预训练 Transformer 扩展

🧭 生成式预训练 + 排序 Transformer ★ 深度解读

Alibaba International Digital Commerce Group

用生成式预训练 + 残差适配器 + 非对称多 epoch 训练，实现工业推荐 Transformer 的参数与数据双扩展

📌 工作参考价值（4 点）

预训练与排序特征空间不一致时，用零初始化的残差适配器（类似 LoRA）注入排序特定特征，比直接拼接或额外投影更稳定，能避免稠密参数负迁移
长序列建模可保留最近 1k 细粒度 token + 更早历史按组求和池化；混合稀疏注意力中最近 128 个 token 设为全局 token，其余用滑动窗口，目标 item 只与历史交互且目标之间隔离，再逐层剪枝历史 token，可达到 92%+ 稀疏度和 5x 注意力加速，AUC 损失仅 0.1pt
多 epoch 训练时，每 epoch 把稀疏 embedding 重置回预训练状态、稠密参数持续累积，能避免稀疏过拟合，使数据规模扩展持续带来收益
同请求多个候选 item 共享一次用户历史序列编码，消除重复数据传输和编码开销，在线吞吐下降仅 12.1%，工程收益显著

RecSys | 2026-09-14 | cs.IR | score 9/10

SequenceO1: End-to-End Ultra-Long (100K) Sequence Modeling in Recommendation with Low-Rank Caching

SequenceO1：基于低秩缓存的推荐系统端到端 100K 序列建模

🧭 超长序列推荐 · 低秩缓存 ★ 深度解读

ByteDance

用 Sketch Attention 将 100K 用户历史压缩为固定大小可缓存 sketch，结合两时间尺度 STCA 与缓存复用，实现端到端超长序列推荐

📌 工作参考价值（5 点）

超长历史压缩为可缓存 sketch：用 learnable prototypes + prototype-wise softmax 把 100K 行为序列压缩成固定大小（如 1K×128）的 user-only sketch。相比 token-wise softmax，prototype-wise 归一化避免早期 token 选择、保证全局覆盖，适合作为跨目标/请求复用的长期兴趣表征。电商/广告场景可直接替换 TWIN V2 这类两阶段 lifelong 模块，减少离线聚类+检索的系统复杂度。
训练/推理缓存复用：训练侧 local KVCache 以 userID + model version + history timestamp 为 key，TTL 失效 + 容量淘汰；同用户多请求用 MRLB 分组，只算一次 sketch。推理侧同样缓存，命中时无需再读取/传输 100K 原始特征，路径成本 O(1)。这是把长序列建模从学术可行变成生产可用的关键。
两时间尺度推理：近期 10K 后缀走 STCA 捕捉 recency，超长 sketch 走 STCA 捕捉长期偏好，再轻量 fusion。这个结构比单一路径更贴合真实用户行为，且近期分支成本可控。
FlashSA 工程实现：融合 kernel 流式计算 prototype-token affinities，不物化 k×n 中间矩阵，降低显存和内存带宽。对任何需要把长序列压缩成固定表示的模块都适用。
对 Agent/LLM 长期记忆启发：固定大小、用户侧、可缓存的 sketch 可作为用户长期记忆压缩层，Agent 或 LLM 检索增强推荐时，可以缓存该 sketch 避免重复处理长上下文，与 pipeline lift 结合可进一步隐藏延迟。

RecSys | 2026-09-08 | cs.IR | score 9/10

Long-sequence Modeling Sketch Attention Low-Rank Caching STCA System Co-design